درون مدل زبانی بزرگ (LLM) چیست؟ Ai2 OLMoTrace منبع را "ردیابی" می‌کند

درک دقیق اینکه چگونه خروجی یک مدل زبانی بزرگ (LLM) با داده‌های آموزشی مطابقت دارد، مدتهاست یک راز و چالش برای فناوری اطلاعات سازمانی بوده است.

یک تلاش متن‌باز جدید که این هفته توسط

آغاز شده است، هدفش کمک به حل این چالش با ردیابی خروجی LLM به ورودی‌های آموزشی است. ابزار OLMoTrace به کاربران اجازه می‌دهد تا خروجی‌های مدل زبانی را مستقیماً به داده‌های آموزشی اصلی ردیابی کنند و به یکی از مهمترین موانع پذیرش هوش مصنوعی سازمانی، یعنی فقدان شفافیت در نحوه تصمیم‌گیری سیستم‌های هوش مصنوعی، بپردازند.

OLMo مخفف Open Language Model (مدل زبانی باز) است، که نام

نیز هست. در سایت Ai2 Playground این شرکت، کاربران می‌توانند OLMoTrace را با مدل OLMo 2 32B که اخیراً منتشر شده است، امتحان کنند. کد منبع باز نیز در موجود است و برای استفاده همه آزاد است.

برخلاف رویکردهای موجود که بر نمرات اطمینان یا تولید تقویت‌شده با بازیابی متمرکز هستند، OLMoTrace یک پنجره مستقیم به رابطه بین خروجی‌های مدل و مجموعه‌داده‌های آموزشی چند میلیارد توکنی که آنها را شکل داده‌اند، ارائه می‌دهد.

جیاچنگ لیو، محقق Ai2، به VentureBeat گفت: "هدف ما کمک به کاربران برای درک این است که چرا مدل‌های زبانی پاسخ‌هایی را که می‌دهند، تولید می‌کنند."

OLMoTrace چگونه کار می‌کند: فراتر از استنادها

LLMها با قابلیت جستجوی وب، مانند Perplexity یا ChatGPT Search، می‌توانند استنادهای منبع را ارائه دهند. با این حال، این استنادها اساساً با آنچه OLMoTrace انجام می‌دهد متفاوت هستند.

لیو توضیح داد که Perplexity و ChatGPT Search از تولید تقویت‌شده با بازیابی (RAG) استفاده می‌کنند. با RAG، هدف بهبود کیفیت تولید مدل با ارائه منابع بیشتر از آنچه مدل بر اساس آن آموزش دیده است، می‌باشد. OLMoTrace متفاوت است زیرا خروجی را از خود مدل بدون هیچ‌گونه RAG یا منابع اسناد خارجی ردیابی می‌کند.

این فناوری، توالی‌های متنی طولانی و منحصربه‌فرد را در خروجی‌های مدل شناسایی می‌کند و آنها را با اسناد خاصی از پیکره آموزشی مطابقت می‌دهد. وقتی مطابقت پیدا شود، OLMoTrace متن مربوطه را برجسته می‌کند و پیوندهایی به مواد منبع اصلی ارائه می‌دهد، و به کاربران این امکان را می‌دهد تا دقیقاً ببینند که مدل از کجا و چگونه اطلاعاتی را که استفاده می‌کند، یاد گرفته است.

فراتر از نمرات اطمینان: شواهد ملموس از تصمیم‌گیری هوش مصنوعی

LLMها بر اساس طراحی، خروجی‌هایی را بر اساس وزن‌های مدل تولید می‌کنند که به ارائه یک نمره اطمینان کمک می‌کنند. ایده اصلی این است که هرچه نمره اطمینان بالاتر باشد، خروجی دقیق‌تر است.

از نظر لیو، نمرات اطمینان اساساً دارای نقص هستند.

لیو گفت: "مدل‌ها می‌توانند نسبت به چیزهایی که تولید می‌کنند، بیش از حد مطمئن باشند و اگر از آنها بخواهید نمره‌ای تولید کنند، معمولاً متورم می‌شود." وی ادامه داد: "این همان چیزی است که دانشگاهیان آن را خطای کالیبراسیون می‌نامند - اطمینانی که مدل‌ها خروجی می‌دهند، همیشه منعکس‌کننده دقت واقعی پاسخ‌های آنها نیست."

OLMoTrace به جای یک نمره بالقوه گمراه‌کننده دیگر، شواهد مستقیمی از منبع یادگیری مدل ارائه می‌دهد و به کاربران این امکان را می‌دهد تا قضاوت‌های آگاهانه خود را انجام دهند.

لیو توضیح داد: "کاری که OLMoTrace انجام می‌دهد این است که مطابقت بین خروجی‌های مدل و اسناد آموزشی را به شما نشان می‌دهد." وی افزود: "از طریق رابط کاربری، می‌توانید مستقیماً ببینید که نقاط تطبیق کجا هستند و چگونه خروجی‌های مدل با اسناد آموزشی همزمان هستند."

OLMoTrace چگونه با سایر رویکردهای شفافیت مقایسه می‌شود

Ai2 در تلاش برای درک بهتر نحوه تولید خروجی توسط LLMها تنها نیست. اخیراً Anthropic

در این زمینه منتشر کرد. این تحقیق بر عملیات داخلی مدل متمرکز بود، نه درک داده‌ها.

لیو گفت: "ما رویکرد متفاوتی نسبت به آنها اتخاذ می‌کنیم." وی افزود: "ما مستقیماً به رفتار مدل، به داده‌های آموزشی آنها ردیابی می‌کنیم، برخلاف ردیابی چیزها به نورون‌های مدل، مدارهای داخلی، از این قبیل موارد."

این رویکرد OLMoTrace را برای کاربردهای سازمانی مفیدتر می‌کند، زیرا برای تفسیر نتایج نیازی به تخصص عمیق در معماری شبکه عصبی نیست.

کاربردهای هوش مصنوعی سازمانی: از انطباق نظارتی تا اشکال‌زدایی مدل

برای شرکت‌هایی که هوش مصنوعی را در صنایع تحت نظارت مانند مراقبت‌های بهداشتی، مالی یا خدمات حقوقی مستقر می‌کنند، OLMoTrace مزایای قابل توجهی نسبت به سیستم‌های جعبه سیاه موجود ارائه می‌دهد.

لیو گفت: "ما فکر می‌کنیم OLMoTrace به کاربران سازمانی و تجاری کمک می‌کند تا بهتر درک کنند که چه چیزی در آموزش مدل‌ها استفاده می‌شود تا بتوانند هنگام ساختن بر اساس آنها اطمینان بیشتری داشته باشند." وی ادامه داد: "این می‌تواند به افزایش شفافیت و اعتماد بین آنها از مدل‌هایشان و همچنین برای مشتریان رفتارهای مدل آنها کمک کند."

این فناوری چندین قابلیت مهم را برای تیم‌های هوش مصنوعی سازمانی فراهم می‌کند:

• بررسی صحت خروجی‌های مدل در برابر منابع اصلی
• درک منشاء توهمات
• بهبود اشکال‌زدایی مدل با شناسایی الگوهای مشکل‌ساز
• تقویت انطباق نظارتی از طریق ردیابی داده‌ها
• ایجاد اعتماد با ذینفعان از طریق افزایش شفافیت

تیم Ai2 قبلاً از OLMoTrace برای شناسایی و اصلاح مسائل مدل‌های خود استفاده کرده است.

لیو فاش می‌کند: "ما در حال حاضر از آن برای بهبود داده‌های آموزشی خود استفاده می‌کنیم." وی افزود: "وقتی OLMo 2 را ساختیم و آموزش خود را شروع کردیم، از طریق OLMoTrace متوجه شدیم که در واقع برخی از داده‌های پس از آموزش خوب نبودند."

این برای پذیرش هوش مصنوعی سازمانی چه معنایی دارد

برای شرکت‌هایی که به دنبال پیشروی در پذیرش هوش مصنوعی هستند، OLMoTrace یک گام مهم به سوی سیستم‌های هوش مصنوعی سازمانی پاسخگوتر است. این فناوری تحت مجوز متن‌باز Apache 2.0 در دسترس است، که به این معنی است که هر سازمانی که به داده‌های آموزشی مدل خود دسترسی داشته باشد، می‌تواند قابلیت‌های ردیابی مشابهی را پیاده‌سازی کند.

لیو خاطرنشان می‌کند: "OLMoTrace می‌تواند روی هر مدلی کار کند، به شرطی که داده‌های آموزشی مدل را داشته باشید." وی افزود: "برای مدل‌های کاملاً باز که همه به داده‌های آموزشی مدل دسترسی دارند، هر کسی می‌تواند OLMoTrace را برای آن مدل راه‌اندازی کند و برای مدل‌های اختصاصی، شاید برخی از ارائه دهندگان نخواهند داده‌های خود را منتشر کنند، آنها نیز می‌توانند این OLMoTrace را به صورت داخلی انجام دهند."

همانطور که چارچوب‌های حاکمیت هوش مصنوعی به طور مداوم در سطح جهانی در حال تحول هستند، ابزارهایی مانند OLMoTrace که امکان تأیید و قابلیت ممیزی را فراهم می‌کنند، احتمالاً به اجزای ضروری پشته‌های هوش مصنوعی سازمانی، به ویژه در صنایع تحت نظارت که شفافیت الگوریتمی به طور فزاینده‌ای الزامی است، تبدیل خواهند شد.

برای تصمیم‌گیرندگان فنی که مزایا و خطرات پذیرش هوش مصنوعی را سبک و سنگین می‌کنند، OLMoTrace یک مسیر عملی برای پیاده‌سازی سیستم‌های هوش مصنوعی قابل اعتمادتر و قابل توضیح‌تر بدون قربانی کردن قدرت مدل‌های زبانی بزرگ ارائه می‌دهد.